Don't Mask the Environment: Observation Supervision Changes How Agents Explore Under RL
不要掩码环境：观察监督如何改变 Agent 在 RL 下的探索
🧭 Agent 轨迹 SFT 监督目标扩展
University of Maryland · AWS AI Labs
SFT 同时监督 observation token，无需额外数据即可提升后续 GRPO 的 pass@k 与探索多样性
📌 工作参考价值（4 点）
- 在训练对话式推荐 / 搜索 Agent 时，SFT 阶段可以对环境返回的观察 token（如商品信息、搜索结果片段）也计算交叉熵损失，不增加数据、参数或序列长度，能显著提升后续 RL 的采样质量（pass@k）。
- 若 Agent 需要工具调用或多轮交互，联合监督 action 与 observation 可以防止模型过度特化于动作生成，保持对环境的预测能力，使 RL 阶段策略更新幅度更小、更稳定。
- 对于需要高多样性输出的场景（如广告文案生成、Query 推荐），可借鉴 ActObs 思路：在预训练或 SFT 时对“用户反馈”或“系统状态”也加监督，让 RL 后模型保留更多熵，提升 pass@k 而非只追求 pass@1。
- 工程实现上零额外成本：只需修改 loss mask，把原本作为上下文的 observation token 也纳入预测目标，即可复用现有 SFT 流水线。